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To transmit sequences of television pictures via a transmission channel having 
limited transmission capacity, sequences of television pictures existing at the 
transmitter are omitted during the transmission. The omitted sequences of 
television pictures are in each case reconstructed at the receiver from a 
previously transmitted sequence of television pictures and an additionally 
transmitted signal which contains information on the displacement of part image 
areas for the omitted sequence of television pictures. It is determined by means 
of a comparison at the transmitter whether the reconstructed sequence of 
television pictures obtained on the basis of the information on the displacement 
of part-image areas corresponds to the omitted original sequence of television 
pictures. If this is not so, picture-element- dependent information items for such 
part-image areas are inserted into the transmitted datastream. Data supplied 
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© Vert ahren zum Ubertragen und aim Wledergeben von Femsehblldsequenzea 



© Zum Obertragen von Femsehbildsequenzen Qber elnen Obertragungskana) mft begrenztar 
Obertragungskapazttdt warden sendersertig vorhandene Femsehbikteequenzen be} der Obertragung au'sgelassen. 
Die empffingerseitige Rekonstruktion der ausgelassenen Femsehbikteequenzen erfolgt Jewells aus einer zuvor 
Qbertragenen Femsehbildsequenz und el nam zusfitzlich Qbertragenen Signal, welches eines Information Qber die 
Verschiebung von Teilbiidbereichen fflr die ausgelassene Femsehblldsequenz enthfilt Durch einen senderseW* 
gen Verg letch wird festgestelll ob die aufgrund der Information Qber die Verschiebung von Teilbiidbereichen 
gewonnene rekonstruierte Femsehbildsequenz mft der ausge la ssenen Originalfemsehbildsequenz QberelnstfmmL 
1st dies nicht der Fall, warden fOr solche Teilbildbereiche WkJpunktabhfingige Inform ationen in den Qbertragenen 
Daten strom erngefQgt 
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Verfahren aim Obertragen und rum Wledergeben von Femsehbtldsequenzen 



Die Erfindung geht aus von einem Verfahren gemSB dem Oberbegrfff des Patentanspruchs 1. Bn 
solches Verfahren ist bekannt aus Do-OS 34 08 016. Bn andares Verfahren 1st in dar aiteren EP- 
PatentanmeWung 86 103 153 (EP 236 516 A1) vorgeschlagen worden. 

Wenn Femsehbildsequenzen, insbesondere solche mit erhShter Aufldsungsqualltfit Ober elnen 

5 Obertragungskanal mit begrenzter ObertragungskBpazttSt Ubertragen warden sollen, ist es mSgflch, sender- 
sertig vorhandene Femsehbildsequenzen bet der Obertragung auszulassen und die ausgeiassenan BiWse- 
quanzen empfSngerseitig aus zwei benachbarten Gbertragenen zu Interpofieren. Diese Methode fQhrt zu 
einer unzulangltchan Rekonstruktion bewegter Bildbereiche. Es tritt eine Mehrfachdarstellung bewegter 
Bildbereiche auf , was zu ruckartigen BewegungsabiSufen be! dar Wiedergabe fQhrt 

ro In der fflteren EP 86 103 153 wurde zur Vermeidung dieses Nachteils vorgeschlagen, mittels eines 
Intarpolationsfiltars jades Bildeiement einer ausgeiassenan Femsehbfldsequenz mtttels eines Ver- 
schiebungsvektors fOr Jeden BiWpunkt und je einem Bildeiement aus zwei Qbertraganan Fernsehbfldsequen- 
zen zu interpolleren, Der Iterationsprozess zur Ermlttlung des Verschlebungsvektors wurde dabei bewegun- 
gsabhSngig gesteuert 

is Aufgabe der Erfindung Ist es, das Verfahren gemSfl dem Oberbegriff das Patentanspruchs 1 so 
auszugestalten, dafl (tor Verarbeitungsaufwand bei einer Oatenreduktton gering bieibt, ohne eine Qua* 
litfitsminderung insbesondere In schnell bewegten Bildbereichen befUrchten zu mQssen, Diese Aufgabe wind 
durch die Merkmale des Patentanspruchs 1 gal5sL Ausgestaltungen der Erfindung sind in den Unter- 
ansprOchen beschrieben. 

20 Die Erfindung geht von folgenden Erkenntnissen aus: 

Bisher (DE-OS 34 08 016; EP 86 103 153) wurde der Verschiebungsvektor fOr jeden BiWpunkt einer 
Femsehbildsequenz (HalbblkJ bei Zeilensprungverfahren Oder Volftrild bei progressive Abtastung) ermfttett 
Abgesehen von dem sehr hohen Verarbeitungsaufwand spart man damit keine ObertragungskapazttiiL Es 
wurde nun durch statistische Untersuchungen ermltteH. dafl Verschlebungen (Displacements) benachbarter 

25 Biidpunkte Qber elnen grofien Bereich die gleichen Werte haben. Dies ISflt sich anschauOch mit der 
Tatsache belegen, dafi Objekte eine bestimmte Ausdehnung haben mQssen, urn im Blk) erkannt zu warden. 
Ermitteft man demnach eine Verschiebung nicht fOr elnen einzetnen Bildpunkt sondem fOr elnen TeilbiWbe- 
refch (Block), beispielseise der GrSBe 9x7 Biidpunkte. so ISA sich der Aufwand (Rechenleistung) bet der 
Ermittiung der Verschiebung urn den Faktor 63 reduzieren. 

so Bishenge Verfahren basiarten darauf. eine bei der Obertragung ausgelassene Femsehbildsequenz aus 
mindestens zwei Gbertragenen FemsehHIdem und gegebenenfaOs einer Zusatzinformation zu rekonstrute- 
ren (interpofieren). Beim Verfahren gemSB der Erfindung hfngegen wird eine bairn Obertragen ausgelassene - 
Femsehbildsequenz aus einer zuvor Gbertragenen Femsehbildsequenz und aus einer Gbertragenen Informa- 
tion Ober die Verschiebung eines Teiibildbereiches einer beim Obertragen ausgeiassenan FemsehbikJse- 

35 quenz bezogen auf eine Qbertragene Femsehbildsequenz rekonstruiert Es erfoigt somit keine interpolation 
zwischen zwei Oder mehreren Gbertragenen Femsehbildsequenzen, sondem eine Rekonstruktion aus nur 
einer zuvor gesendeten Femsehbildsequenz in Zusammenhang mit einer Verschiebungsinformatton 
(Forward displacement estimation). Durch diese Maflnahme reduziert sich der Bildspeicherbedarf sender* 
und empfdngerseltig erhabDch. 

40 FOr Teilbildbereiche, fOr die wegen des hohen BewegungsanteBs keine Verschiebung s i n form a l ion 
ermhtefL werden term, werden bildpunktabhingige fnformationen fOr diesen Teflbitdberefch in den 
Gbertragenen Datenstrom eingefOgt Es erfoigt also fOr bewegte Bikfberetche eine Wiedergabe mil der 
voilen zeitGchen Auflosung. 

Das Verfahren nach der Erfindung ist unter anderem fflr foigende Anwendungen geeignet 

45 - HochquaJitfitsfemsehen mit 34 Mbit/s basierend auf COR Rec 601, 

• HDTV (High density television) -Obertragung auf 140 Mbrt/s-Obertragungskanaien, 

- niederbHratige VideokonferenzbfldQbertragung (2 Mbit/s, 384 kbit*, 64 kbitfe), 

- Bildrekonstruktion f Or ruckfreie Zeitiupe, 

• Stabidsierung verwackelter Bildsequenzen (z,B. wenn (fie Aufnahmekamera nictrt faststehen karm), 
so • Bewegungskempensatton von Objekten (z.B. Zelien unter dem Mrkrostop), 

- FDmmerbefreiung der Wiedergabe von Femsehbfldem (Voilbiiddaretellung), 

- Normwandiung zwischen untarschiedlichen BiWwechselfrequenzen. 

Anand der Zelchnungen wird ein AusfQhrungsbeispiel dar Erfindung nun erl&utart Es zeigen 
Rg. 1 das Prinzfp dar Rekonstruktion ausgelassener Femsehbildsequenzen, 
Rg. 2 das Prinzip der BrmiWung von Verschiebungsvektoren f Or Teilbfldbereiche, 
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Fig. 3 ein Blockschaltbild fOr einen Coder nach dem Verfahren der Erfmdung, 
Rg. 4 ein Blockschaltbild f Or einen Dlsplacement-Schfitzer, 
Rg. 5 die Displacements fQr ein Fetd von Teflbiktoereichen, 
Rg. 6 die DPCM-lmplementienmg des OPCM-Coders, 
s Rg. 7 die Quantisierung und VWL-Codierung, 

Rg. 8 ein Blockschaltbild f Or die Baugruppen des Decoders, 
. Rg. 9 die Struktur des VWL-Decoders, 
Rg. 10 die Struktur des DPCM-luminanz-Decoders, 
Rg. 11 die Struktur des Displacement-Interpolators, 
io Rg. 12 die Struktur des interpolation-Buffers, 

Rg. 13 bis 16 Strukturelemente des InterpolationsfiitBrs. 
In Rg. 1 1st das Prinzip der RekonstaiWton von Fernsehbiidsequenzen nach der Erfindung dargestellt 
Es wurde hierbei vom Zeilen-Sprungverfahren • Obertragung zweier Haibbiider (field) zum Aufbau eines 
Volibildes (frame) - ausgegangen. Bne progressive zeitiiche Abtastung zur Obertragung eines Volibildes 1st 
16 mrt dem Verfahren der Erftndung natQrfich auch mSgiich. Die beiden Haibbiider K-2 und K-2" warden 
beispieteweise in digital codierter Form mtttels DPCM Obertragen (transmitted fields). Die Haibbiider K-1 
und K-r werden nicht Obertragen (skipped fields). Die Haibbiider K und K' werden wiederum Obertragen. 
Die ausgetassenen Haibbiider sind empfflngerseitig rekonstruierbar. So wird belspielsweise das nicht 
Obertragene Halbbild K-1 aus dem Obertragenen Halbbild K-2 und einem Obertragenen Signal rekonstruiert, 
20 welches eine Information Qber die Verschiebung zwischen den Bildsequenzen K-2 und K-1 enthltt Es wird 
ein Feld von Verschiebungsvektoren (Displacements) berechnet (Rg. 2). Die Verschlebungsvektoren werden 
aus den zuvor genannten GrOnden nicht biidpunktweise ermittelt, sondem jeweiis fQr einen Tellbildberefch 
(Block). 

Rgur 2 zeigt die Untertellung einer Bildsequenz in TeilbiTdbereiche gleicher GrdBe (Fixed blocks). Der 
25 eingezeichnete Verschiebungsvektor gibt die Verschiebung des BBdinhaits eines Blockes von der Bildse- 
quenz K-2 zur Bildsequenz K-1 an. Die GrfiBe eines Teilbik&ereiches (Block size) wird vorzugsweise durch 
9x7 BikJpunkte bei einem Sch&zfenster der Grote 19 x 15 BiWpunkte beschrieben. Aus den Ver- 
schiebungskomponenten dx und dy des Verschiebungsvektors ISA sich Betrag und Winkel der Bewegungs- 
richtung des BiWinhaits der Teilbildbereiche durch einfache Koordinatentransformation ermlttetn. 
30 Anhand eines 34 Mbrt/s-Coders (Rg. 3) und eines entsprechenden Decoders (Rg. 8) mlt bewegungs- 
kompensierter Bildrekonstruktion (Motion-Compensated frame interpolation) werden (fie Verfahrensschrttte 
der Erfindung Im einzelnen erlfiutert 

Das senderseitig verfOgbare Bildsignal (Original picture) fiegt beispieteweise PCM codiert vor. Es wird einer 
Codierstufe (DPCM Coder) zugefOhrt zur Aufberettung jedes zweiten Volibildes fOr die Obertragung in 

36 DPCM. Der Ausgang dieser Codierstufe 1st Ober ein Zeitverzdgerungsglied r nut einem Video-Multiplexer * 
(Video Mux) • Bngang I • verbunden. FOr die dazwischen liegenden Voflblider wird Im Normalfall; d.h. es 
treten keine zu stark bewegten Teilbildbereiche auf, nur ein Signal zur Obertragung an den Video- 
Multiplexer - Bngang II -weitergegeben, welches informationen Qber die Verschiebungsvektoren enthlH 
AuBerdem enth9tt der Video-Multiplexer Ober seinen Bngang III noch Steuersignale von einer Steuerstufe 

40 (Mode Control), welche Steuersignale fQr foigende Betriebsarten zur VerfOgung stellt 
- alleinige Obertragung von Displacements, 

• Obertragung von Displacements und bildpunktabhSnglge DPCM Informationen fQr bestimmte BIScke, 

• Buffer level Informationen. 

Es wird also Ober die Steuersignale festgelegt welche Bildsequenzen veil in DPCM Obertragen werden, 
45 welche ausgelassenen Bildsequenzen anhand von Obertragenen Displacements rekonstruiert werden und 
fQr welche Teilbildbereiche. fOr die kein Displacement ermittelt werden kann, bildpunktabhSnglge DPCM- 
Signals fOr diese Teilbildbereiche In den Obertragenen Datenstrom elngefOgt werden. Zur Aufberettung 
dieser Steuersignale wertet die Steuerstufe die Synchronimpulse (Sync) der Bildsequenzen und 
Disptecement-Fehler aus; d.h. Unterschiede zwischen Orlgfoalbldcken und ihren aufgrund der Displace- 
so merits gebtkJeten Rekonstruktlonen. Die Displacements werden mitts Is eines DlsplacomerfrSchltzers 
(Displacement-Estimator) aus einer aktuellen Bildsequenz K und einer zuvor Obertragenen und Im Vollbild- 
speicher (Frame store) abgetegten rekonstruierten Bildsequenz K-2 ermittelt Die Funktionsweise dieses 
Disptacement-Schfitzers, der parallel zum DPCM Coder arbeftet wird nun in Vertoindung mit Fig. 4 ertfiutert 
Die beiden Halbbildsequenzen K-2 und K werden jeweiis vertikal vorgefiltert -Tiefpaflfilter FIRl und 
ss FIR2 • urn stogufflre Zeiien zu dfimpfen. Singuire Zeilen ergeben sich aufgrund des Zeilen-Sprungvertah- 
rens durch Unterabtastung des Bildnhaltes in vertikaler Richtung. Das hierdurch verursachte Aliasing 
kflnnte den Displacementschfitzvorgang stSren. Das Aliasing fiuBert sich In Form von einzelnen Zeilen - 
singulars Zeilen -, die deutlich vom Grauwert inter Umgebung abweichen kSnnen Das Bild wird durch die 
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He! paflitterung zwar unschfirfer. aber das Aliasing bei hohen Frequenzen wind mitgedfimpft und die 
Schatzung dadurch nicht verschlechtert Untersuchungen zeigten, daB mit RR (FiniteHmputee-response) 
-FiKem dritter Ordnung mit den Koeffizienten 1/4, 1/2, 1/4 eine guts UnterdrOckung singul&rer Zeilen zu 
eneichen ist 

Zur Ermitttung der Displacements; d.h. threr x-und y-Komponenten, wird ein aus DE-OS 34 08 016 
bekanntes Verfahren angewendet Dieses Verfahren artoeitet iterathr: dJi. das Ergebnis ernes jeden 
Iterationsschrittes i wird ais Startwert fOr den nSchsten Schritt benutzt FOr die Komponenten des Displace- 
ments gilt 



Mi) * z • : — ii li f,flI . 
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mit 

dx(l) X Displacement Im L Iteration sschritt 
dy(i) Y Displacement im I. tterationsschritt 
E Erwartungswert Qber ein Feid nlm 
FD BOd zu Bild - Dfftorenz an der State X Y 
Sk Xs AWeftung in X Richtung an der SteUeX. Yin Bild K 
Sk Ys Abletomg in Y Richtung an der Stella X, Y in Bild K 
Skm1 Xs Abletomg in X Richtung an der Steiie X. Yin BiWKminusI 
Skml Ys AWeftung in Y Richtung an der Steiie X, Y In Bild K minus 1. 
Man erhfiit mm: 
dx « dx(M) + dx(i) (2) 
dy = dy(M) + dy® 

Das Verfahren wird Qber ein Feid mit 19 x 15 Bitdpunkten (pel) mit drei terationsschritten i angewendet 
Damrt ist cfie Schatzung fOr ein dx von maximal 9 pel und ein dy von maximal 7 pel gOlttg, vorausgesetzt 
daB das Hsrationsverfahren konvergiert 

Zur Verbessenmg der Schatzung, insbesondere hinsichtlich geringerem Rechenaufwand und hohemr 
ZuverlSssigkett der Displaeement-Bestimmung werden die nachfotgend geschilderten Mafinahmen getrofr 
fen. 

Bisher, beispielsweise betm Schitzverfahren gemSfl DE-OS 34 08 016, wurde der Verschiebungsvektor 
fOr Jeden Bildpunkt berechnet Abgesehen von dem sehr hohen Rechenaufwand spart man so kerne 
ObertragungskapazitSt Stattetische Untersuchungen 2eigten, daB Displacements benachbarter Blidpunkte 
Qber einen groBen Bereich die gteichen YVerte haben. Dies ISflt sich anschauBch mit der Tatsache betegen, 
daB Objekte eine bestimmte Ausdehnung haben mOssen, urn im Bild erkarort zu werden. Der Ver- 
schiabungsvektor wird In dem Verfahren fOr einen Block der GrdBe 97 ais gffltig eridSit Durch diese 
Ausnutzung der Egenschaften des Bitdlnhatts wind die ndtige Rechenleistung urn den Faktor 63 reduziert 

Wie zuvor erwihnt wird das Verfahren iterativ angewendet und konvergiert zum Displacement Das 
Verfahren kann beschleunigt werden, indent man den Verschiebungsvektor an der gleichen r&umfichen 
Steiie aus dem zeftfich vorangegangenen BOd ais Startwert fOr die Schatzung nimmt Dadurch ergeben sich 
foigende Verbeeserungen: 

• Beschleunigung der Konvergenz urn den Faktor 2; dh. es 1st be) gleicher Genauigkeit nur die hate 
Rechenleistung erforderlich. 

• Bei unscharfem Biidinhalt (z.B. schneilem Schwenk), wenn die Iteration nur unvoflkommen konvergjert, 
bleibt der Startwert fast ungefindert bestehen. (Tr8gheitseffekt) Ruckein in schneilen Bewegungen wird 
dadurch vermieden. 

Es wird ein dynamisches DispiacementschStzfenster (dynamic image window) angewendet, wobei das 
Schltzfenster dann vergriBert wird, wenn das im ersten Durchlauf geschfitzte Displacement grSfler ist ais 
die haibe Schdtzfenstargrdfie. Der Vorgang der VergrfiBerung des Oisplacementschatzfensters wird solange 
(max. 4 mal) wiederholt bis das Displacement innertiaib des Schitzfensters liegt Fig. 4 zeigt schemtisch, 
welche Sch3tzfenstergr0Ben zu welchen Displacements dx und dy gehSren. Durch diese MaBnahme 
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warden auch seltene groBe Displacements erfafit und richtig geschStzt Falls die Displacementschfitzung 
nicht konvergiert - dx > 36, dy > 30 - also kein Displacementvektor Tf gefunden werden kann 
(Divergence), wird an die Steuerstufe (Mode control) ein Signal abgegeben, bildpunktabhfingtge DPCM- 
Signale f Or diesen Teilbildbereich (Block) Qber den Video-Multiplexer (Video Mux) in den zu Qbertragenden 

9 Datenstrom einzufOgen. Jeder ermittelte Displacementvektor If mK beispielsweise den Komponenten Dj*, 
DyK wird an einen Vektorspeicher (Vector Store) weitergegeben. Oieser Vektorspeicher (Sent dazu, Displace- 
ments aus Femsehbildsequenzen. die zettlich zuvor ermittelt wurden, Z.B. aus dem Haibbild K-2, dem 
Displacement-Schfitzer zur aktueiten Displacement-Ermitttung zur VerfQgung zu stelten. Aufierdem stent der 
Vektorspeicher der VertrauensprOfungsstufe (Reliability Test) nicht nur den gerade ermfttetten Displace- 

10 mentvektor fQr einen Teilbildbereich (Block) zur VerfQgung, sondem auch die Displacementvektoren der 
benachbarten Teilbildbereiche. In der VertrauensprQfungsstufe wird die QQltlgkelt eines Ver- 
schiebungsvektors innertialb einer Viererumgebung (4 Bidcke) urn den aktuefien Block durchgefOhrt (Star 
environment). Diese Anordnung sieht folgendermaflen aus: 

« x 

xox , 

X 

w wobei o den aktueden Block und 
x NachbarWocke bezeichnen. 

Statistische Untersuchungen haben ergeben, dafl die Abweichung des Mittelwerts aus der Viererumge- 
bung zum aktuellen Displacement in X-Richtung kteiner 2pel und in Y-Rfchtung Meiner 1 pel ist Dies gilt fQr 
ca. 96 % aller Displacements. Die restHchen 4 % werden als AusreiBer deWariert und durch den Mrttetwart 

25 der Viererumgebung ersetzt Der Schwellwert zur DurchfQhrung der VertrauensprOfung (Reliability thre- 
shold) wird von der Steuerstufe (Mode Control) zur VerfQgung gestelH Es werden also Displacementinfbr- 
mationen Tf Kr erst nach einer solchen VertrauensprOfung an den Bngang II des Video-Multiplexers 
weitergegeben. Rg. 5 zeigt die Displacements fQr ein Fold von TeilbUdbereichen (BiScken) vor der 
Codierung zu DPCM-Obertragungssignaten. 

^ Bne senderseitige Bitdrekonstruktionsstufe (Reconstruction) rekonstruiert fQr die bei der Obertragung 
ausgelassenen Bildsequenzen K-1, K-1' bus den berechneten Displacement-Vektoren, die der Ver- 
trauensprOfung unterzogen worden sind - Bngang a-, den zuvor zur Obertragung bestlmmten Bildsequen- 
zen K-2, K-2 1 -Bngang b • und der Steuerinformation am Ausgang der Steuerstufe (Mode Control) • Bngang. 
c die bei der Obertragung ausgelassenen Femsehbildsequenzen K-1, K-1'. Die VertrauensprQfungsstufe 

w vergteicht diese mit den senderseitig vorfiegenden Originalsequenzen K-1, bzw. K-V. Ergibt dleser tellbfld- 
bereichswetse vorgenommene Verglelch keine Obereinstimmung. so mQssen jewefls bildpunktabhfingige 
Informationen f Or die betroffenen Teilbildbereiche in den Qbertragenen DPCM-Datenstrom eingefQgt warden. 
Dazu erhaK der DPCM Coder Qber den Vollbildspeicher (Frame store) und den PCM-Bngsng die 
notwendigen Informationen; dii. die dort abgelegten rekonstruierten BiWpunkte der beiden letzten Halbbil- 

^ der! Die senderseitige Bildrekonstruktionsstufe kann gleich aufgebaut seln wie die entsprechende Bitdrekon- 
struktionsstufe bei der empffingerse'rtigen Decodierung. Ihr Aufbau wird deshaib erst bei der Beschrelbung 
des Decoders naher erlSutert Da die im Vollbildspeicher (frame store) abgelegten DPCM Bildsequenzen im 
allgemeinen nahezu die gleiche QuaHtfit wie die bei der Obertragung ausgelassenen Origlnalsequenzen 
besitzen. kann der Inhart des VoilUtdspeichers zur Dtsplacement-Schfitzung ansteQe der Orfglnaibfldse- 

^ quenz herangezogen werden -Wirkungslinie K-2 vom Vollbildspeicher zum Displacement-Schfitzer. Bn 
zusfitzflcher Speicher fQr die bei der Obertragung ausgelassenen Bildsequenzen K-1, K-1' kann daher 
entfallen. 

Der Video-Multiplexer 1st ausgangsseitig mlt einem Buffer beschaHet, der die zu Obertragende Daten- 
menge laufend Qberwacht und die cocfierten Displacements und Steuerinformationen aisammen mlt den 
w DPCM codierten Bildsignalen In einen Datenstrom mit konstanter Obertragungsrate verwandelt Wenn der 
Buffer-FQIIstand (Buffer level) hoch ist, wird Qber (fie Steuerstufe der Schwellwert bei der VertrauensprOfung 
(reliability threshold) angehoben. Umgekehrt wird bei einem niedrtgen Buffer-FQIIstand dleser Schwellwert 
abgesenkt Auf diese Weise wird die Anzahl der BI6cke, fQr die bildeiementwelse eine DPCM Obertragung 
erfolgt. zugunsten der ObertragungskapazMt sparenden Obertragung von DIsplecemenMnformatlanen be- 
grenzt 

Urn die Konvergenz bei der Displacement-Schfitzung zu beschleunigen, wird dem Displacement- 
Schfitzer vom Vektorspeicher ein zuvor ermitteltes Displacement D M zur VerfQgung gestelit als Startwert 
fQr das neu zu ermittetnde Displacement dJi. es wird als Anfangswert fQr die aktueDe Iteration von der 
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gleichen rflumlichen Stella ausgegangen wie be! der Ermfttlung des Displacements far die zeitfich vorange- 
gangene Bildsequenz. 

Wenn eln ermlttettes Displacement von der Vertrauensprtlfung als nicht zuverlfissig quallfiztert worden 
ist, wird ein "verbotenes Displacement" anstelte des ermhtelten Displacements Qbertragen. Der 
6 empfSngerseitige Decoder interprfitjert die darauf foigenden Qbertragenen Daten als bildpunktweise DPCM 
Daten fUr einen Block. 

An den Buffer schlieft sich ein Leitungsmuttiplexer (Line Mux) an, der ein PCM Tonsignal (Sound) 
sowie einen zusfltzfichen - frei definierbaren - Datenstrom hinzufflgt Nach einer Fehierschutzschaltung 
(Error Protection) 1st ein 34 Mbit/s-Signal zur Obertragimg verfOgbar. 

io Die OPCM-lmplementierung des Coders und Decoders (Rg. 8) ist ahnlich zu einem 3:1:1 .Codec fOr 34 
Mtivs [ PCS 68. 8.10, 1986, P. Weiss. L Bengtsson, B. Christensson •Adaptive DPCM-Coding of Broadcast 
TH-Signals at 34 Mbitfe."] Da nur Jedes zweite Voflblld DPCM codrert werden mufl, ist die Obertragung von 
4:2*-Studiosignalen mit mehr als 2.4 BiVpel mdglich - abtringig von der Anzahl der zosfitzfich 
Qbertragenen Bi5cke f Or rekonstrulerte Bilder. 

75 Fig. 6 zeigt ein Obersichtsblockschaltbild des DPCM-Coders, der in Rg. 3 nur schematised dargesteitt ist 
Die ihn umgebenden Baugruppen gemSfi Fig. 3, die in Rg. 6 ebenfalis errthalten sind, sind gestrichelt 
dargesteilt Es wird erfindungsgemfifl eine Quellcodierung mittels adaptiver lntra-/lnterframe DPCM ange- 
wendet mit nachfoigender statlsfecher Codierung. Die Daten des DPCM Coders werden aufsummiert mit 
den anderen Daten des Coders (Displacements, Steuersignaie, TorHind freie Datenslgnale) und dann in der 

20 Fehierschutzschaltung gegen Obertragungsfehler urn 5 % Redundanz erg§nzt Die Steuersignaie des 
DPCM Coders werden als Zusatzinformation Qbertragen. Oiese vorwSrtsadaptrve Steuerung (forward adap- 
tive control) des Decoders bringt folgende Vortaile: 

• Schutz gegen ^synchronisation zwischen Coder und Decoder dutch Obertragungsfehler. 

- bessere Bildquaiitfit da die Bildrekonstruktlonsfehler die Steuerung des Codec nicht beeinflussen, 
ss - grdfiere RewBIitit da die Steuerinformation nicht am decoderseitigan Ende abgeleitet wird. 

Urn die Obertragung von Steueurinformation trotz vorwartsadaptiver Steuerung zu gebranzen werden 
folgende Mafinahmen (Rg. 6) getroffea* 

• die Prfcfiktor-Auswah! (Predictor Selection) wird blockwelse vorgenommen. 

- die Quantisier-Auswahl (Quantizer Selection) wird jede drftte ZeOe vorgenommen, 
so • die Chrominanzcodierung wird luminanzabh&ngig gesteuert 

Bne verbesserte Dekorreiation der Bildinformatlon ist dutch eine adaptive Umschaftung zwischen einem 
Intrafield-Prgdlktor fflr sich Sndemde, und einem lnterfrarne-Pr2dlktor fflr statische BiWbereiche zu errei- 
chen. Der Luminanz-Coder (Rg. 6) besteht aus zwei parallel arbeitenden DPCM-Schleifen mit einem 
Intrafield-und einem Intraframe-PrSdiktor. Nach einem Block von 9 aufeinanderfolgenden Biidpunkten wird 

os Jewells tie DPCM-Schleife mit der gertngsten Datenrate ausgewShlt und zusammen mit der PrSdiktor-Um- 
schattinformation von einem Bit zum EmpfSnger Qbertragen. Die Blockbildung ist nfitig, urn die zusfitzlichs 
Steuerinformation gering zu halten. Sie betrfigt nur 0,055 bit/Pel bei einem Block, der 9 Luminanz-und 9 
Chrominanz-Bildpunkte umfaflt 

Bel der zur VerfUgung stehenden Datenrate Ist eine statische Codierung des Quantlsierfehlers umver- 

40 meidlich. Es wird ein HuffmathCode verwendet (Rg. 7). Der Quarrtisierer (Quantizer) enthSft 8 verschiedene 
Quantislerfcennllnien fOr 5 verschiedene BufferfQUstinde (Buffer fill levels). Die feinste und die grObste 
KennHnie soli einen Ober/Urrtertauf des Bufferspetchers sicher verhindem. Die mrttteren KermOnien werden 
im Normalbetrieb verwendet und sind Jewells in 2 Versionen fOr verschiedene Qrtflche BiWaktivrtiten (local 
activity) vorhanden. Zur Feststeltung einer drtlichen BlldaktMt&t werden -we in Rg. 7 dargesteOt - drei 

45 benachbarte Blidpunkte B, C, D einer Zeile und ein Biidpunkt A einer Nachbarzeile eines Haibbiides nach 
der Beziehung: 

ACT (local activity) = MAX ( I A- B L I A- C I . I A- D | f | B - C I . I B- D I , I C • D I ) . 
ausgewertet Warm ACT < festgelegter Schwellwert ist eine PrSdktion mdgGch, 
wenn ACT > festgelegter Schwellwert Ist keine PrSdikfion mSglich. 

so 

Die Quarrtisierer errthalten ieweiis ernen VWL (variable word length) Coder mit einer Codierungsverein- 
barung gemM Rg. 7. 

Die Koefflzienten fOr die Prfidfldoren setzen ich aus den Biidpunkten A, B, C, D und X (Mittelwert von 
interpofierten Biidpunkten) wle folgt zusammen: 
56 Intrafield-Prfidikator ^ 1/2'A ♦ VB'B ♦ 1/4"C ♦ 1/ffD 
lnterframe-Pr§dlkator £ IOC . 

Die Auswahl der Kennflnie In Abhfingigkeit von der AktMtSt erfolgt WWpunktweise. Da die PrSdiktion in 
aktiven Bildbereichen weniger zuverlfiBig 1st, haben die entsprechenden Quantisierungskennlirten einen 
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weniger stark diRemnaerten Codebaum (Codetree) und eine grfibere Stufung. Die Adaption der 
Codebaume wird durch die 6rtf che Bildakthntat gesteuert und wird bitdelementweise vorgenommen. 

Der Chrominanz-Coder (nicht dargesteltt) wird vom tuminanz-Coder (Rg. 6) luminanzadapttv gesteuert 
& enthStt nur eine DPCM-Schleife mit zwei Prfidiktoren, die vom Luminanz-Coder umgeschatet warden. Da 

s die Wahrschetnlichkeit fOr Nullfolgen aufgrund der geringen Entropie der Chrominanz-Komponenten relativ 
grofl 1st wird zusStzlfch eine Run-Length-Codlerung fQr l&ngere Nullfolgen verwendet . 

Rg. 8 zeigt ein Prinzipschaftbild fQr den empfgngerseitigen Decoder. Der Lertungsdemuftiplexer (line 
Demux), an den sich die FeMerkorrektorstufe (Error correction) enschfiefit spatet den 34 MbJVs Datenstrom 
in die Video-, Ton-und Datenkanfile suf. Der Video-Demultiplexer (Video Mux) trennt die DPCM Daten von 

10 den Inf ormationen Qber die Displacements und den Steuerinformationen. 

Der DPCM-Datenstrom wird im OPCM-Decoder mit nachgeschaltetem VoDblldspelcher (Frame store), die 
Displacements im Displacement-Interpolator und die Steuerinformationen in der Steuerstufe (controller) 
weiterverarbeitet Die Steuerstufe steuert sowohf den VoDbildspeicher (Frame store) Ober derr Multiplexer 
(Mux) als auch den Displacement-Interpolator. Ober den Multiplexer (Mux) warden beide Zwelge fOr die 

1 5 Biidwiedergabe vereinigt. Im Decoder wird das DPCM-Bild k-2 rekonstruiert und gespeichert Bild k-1 wird 
aus k-2 mit den Qbertragenen Displacements und einem RR-lrrterpolationsfiter (2-DiM RR), watcher 
Bestandteil des Interpolators ist hergestettt Die Steuerinformation wird ausgewertet und die Qbertragenen 
Bldcke werden eingesetzt Die PCM-Tondaten werden in ein Analogsignal (Sound) zurQckverwandert 
Der DPCM-Decoder bestertt jeweils aus einer DPCM-Schleife fOr den Liminans-und den Chrominanza- 

20 nteil Vor dem DPCM-Decoder ist ein VWL-Decoder angeordnet Der VWL-Decoder, dessen Strufctur in Rg. 
9 dargesteltt ist. flefert Datenworte konstanter Wortlfinge. Die VWL-Oecodierung ImpJlziert einen nicht 
glefchfdrmigen DatenfluB, der durch einen extemen Pufferspeicher (Buffer Store) geglfittet wird. Der 
Pufferspeicher weist erheblich mehr SpeicherkapazftSt auf als der korrespondierende Buffer des Coders, da 
eine Verbindung zum Lese-Polnter des Decoder-Buffers in Abhingigkett vom Schreib-Polnter hergestaffl 

25 werden mufi zur Verhinderung des AuBertrittfellens des Lese-Pofnters, wenn codersertig Felnquantislerun- 
gen zum FQIien des Buffers abgegeben werden. Ober zwei Delay-Rip-Flops (DFF) ist der Ausgang des 
Pufferspeichers mit einem Multiplexer (Mux) verbunden. Innerhalb einer Clock-Perfode bring! dieser 
Multiplexer das VWL Codewort in die rfchtige Position zur Verarbeitung durch einen aus dem Stand der 
Technik bekannten Decoder. Diesem Decoder wird ein DPCM SteuersignaJ vom DPCM Decoder (Fig. 10) 

ao zugefOhrt Neben dem 8 Bit breiten DPCM Ausgangssignal gibt der Decoder ein 4 Bit breites Signal an den 
Pointer Rechner (Pointer Calculator) waiter, der efnen Ausgang zur Steuerung des Pufferspeichers und 
einen Ausgang zur Steuerung des Multiplexers aufweist 

Der DPCM-Decoder (Rg. 10) fQr den Luminanzanteil rekonstruiert die PCM Signate von Mdpunktweise' 
in DPCM Qbertragenen Blacken. Die PrSdikfionswerte werden durch einen Prfidfotor (Predictor), der Ober 

as ein Steuerwerk (Controller) gesteuert wird. und eine Addierstufe (Add.) gebildet Die Kosffizierrtenwertigkelt 
(Coeff.) wird vom Steuerwerk bereitgestellt Der Multiplexer Muxl wird fWgendermaflen benutzt Wlhrend 
der Obertragung von DPCM Bildsequenzen ist dieser Multiplexer stimfig zu den gerade rekonstruierten 
Bildpunxten durchgeschalteL Zur Rekonstruktion DPCM Qbertragener BI5cke innerhalb der Irrterpolierten 
Bildsequenzen ist der Multiplexer Muxl zum Interpolator an den Bkwkkanten durchgeschaltet Der Multiple- 

40 xer Mux2 ermdgticht den Zugrtff zu Daten fQr eine zweidimensionale Pr&diktion; dA Prfidiktion sue nur 
einer Bildsequenz (Haibbild). mtttels des Line-Buffers Oder einer dreidimenstcnaten Prfcfflcficn; dii. 
PrSdiktion aus zwei Bildsequenzen (Halbbildem) mtttels des Inhate des Vollblldspeichers (Frame Store). Die 
Auswahl der Multiplexer Muxl und Mux2 erfolgt durch ein Seiect-Kommando des Steuerwerkes. 

Der In Rg. 8 angefQhrte Displacement-Interpolator ist in Rg. 11 in Enzeibaugruppen dargestellL Die 

45 Komplexitfit der Interpolation ist in der benOtigten Oberabtastung begrOndet zur exakten Rekonstruktion von 
BIScken mit nichtganzzahligen Displacements. WQrden nichtganzzahlige Displacements mit einer einfachen 
parabofischen Interpolation 1. Ordnung reailslert wQrde eine deutfiche Abnahme der BfldschMrfe auftreten, 
wie sle fQr HQTV nicht toleriert werden kann. Nichtganzzahlige Displacements werden deshalb durch ein 
beispielsweise 77 poBges RR-Rter interpoGert, das Oberabtastfaktoren von 8 fOr die x-Richtung und 16 fOr 

so die y-Rlchtung ermflglicht Der ganzzahfige Tell des Displacements wird fQr jeden Block mtttels eines 
Steuerwerkes (Controller) durch Errechnen der Adresse ermittelt FOr die Echtzeitverartwtung werden drei 
parallel arbeitende Filter Rl, FI2 und FI3 verwendet Zuerst wird ein Block in x-Richtung verschoben. Das 
Ergebnis wird im Buffer abgelegt Zur Verschiebung des Blocks in y-Rlchtung wird das gleiche Filter im 
Zeitmuftiplexbetrteb verwendet Der in Fig. 11 angefQhrte Interpolation-Buffer ist in Rg. 12 im Detail 

55 dargesteltt Er bestertt im wesentiichen aus 9 Schieberegistem mit einer Wortbrefte von 8 Bits und einer 
Tiefe von 13 Stufen. Nach der Verarbeitung in x-Richtung enthfift jedes Schleberegistsr eine Spate des 
verarbefteten Blocks. Das Displacement in y-Richtung wird nun Spate fQr Spate berechnet 

Die Rguren 13, 14, 15 und 18 zeigen Strukturetemente des Interpolationsfirters mit Oberabtastung. Die 
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Datenstrdme vom Buffer-Demux. (Fig. 12) warden Ober Delay-FGp-Flops (OFF) und vom Steuerwerk Ober 
PROM gesteuerte Multipiizierer zu einem Summierer mit den Bngfingen S1 bis S11 gefQhrt (Fig. 13). 
Wegen der relator groBen Zahl von Rlter-Koeffizienten ist zur Reduzierung des Schaltungsaufwandes eine 
verelnfachte Multiplizierstruktur (Fig. 14) gewShft Die Multipiizierer (Fig. 14) bestehen Jewells aus zwei 
s Barrel-Shiftefn, dererv Ausgangsdaten addiert warden und an Delay-Flip-Flops weitergefQhrt warden. Den 
Aufbau der Barrel-Shiner zetgt Fig. 15. ttire Aufgabe ist das 8 Bit breite Datenwort urn Us zu 8 PlStze nach 
rectos zu schieben. Die Platzverschiebung wird vom Steuerwerk in Abhfingigkeit der Rlter-Koeffizienten 
vorgenomman. Die Ausgangsslgnale der Multipiizierer warden aufsummiert in einem PipeCne-strukturferten 
Addlerer(Rg. 16). 

10 Die Femsehbildslgnalcodierung mit bewegungskompensierter Vollbildinterpolatton (Motion compensated 
frame interpolation • MCFI) und Obertragung von Verschiabungsvektoren (Displacements) kann auf mehrere 
Arten modifiziert und evti. verbessert werden. MOT kann mit alien Quailcodierungsverfahren, wie beispleks- 
weise: 
-PrSdiktive Codierung, 
i$ -Transform ationscodiemng, 
•interpoiative Codierung, 

-Statist! sche Codierung, 2.B. Huffmann-Codierung, 
kombiniert werdert 

Die Erfindung wurde in inem AusfOhrungsbeispiel anhand der DPCM-Codlerung mit Intrafield- 
20 Merframe-PrSdiktion vorgesteftl fan Coder ist der Dispiacement-Sch&tzer jedoch mhirent Es ist daher 
mSgBch, statische Interfmme-PrgdMon durch bewegungskompensierte Interframe-Pradiktion zu ersetzen. 
Diese Kombination fOhrt zu einer besseren Korrelation. Der Nachteil dieses Verfahrens flegt darfn, dafl cfie 
Verschiebungsvektoren in DPCM codierten BiW-Sequenzen als Zusatzintbrmation Qbertragen warden 
mQssen. Bne wattere MSglichkert ist der Austausch der DPCM-Cocfierung durch erne OCT (Discrate- 
29 Cosine-Transform) -Codierung. 

Bne Verbasserung fiegt in der Dlsp!acemem-Sch8tzung als zeitficher Prfidiktion und der OCT zur 
Codierung des PrSdiktkxtsfehlers. Bei cfieser Kombination kSrnien afie Berechnungen parallel ausgefOhrt 
warden. Dies ist eine wichtige Egenschaft fOr HDTV Obertragungscodierung bei einer Kanalbitrate von 140 
Mbitfe. 

30 

AnsprQche 

1. Verfahren zum Qbertragen von FemsehbiWsequenzen mittets eines Datenstromes Ober einen 
35 Obertragungskanal mit begrenztar Obertragungskapazitat sowie zum Wiedergeben der FernsehHldsequen- 

zen, wobei senderseHig vorhandene Femsehbildsequenzen teflwaise bairn Qbertragen ausgeiassen warden, 
und wobei empfSngerseitig eine Rekonstruktion einer betm Qbertragen ausgelassenen Femsehbildsequenz 
vorgenomman wird. dadurch oekennzeichnet daB <fie empfSngerseitige Rekonstruktion einer ausgelassenen 
Femsehbildsequenz aus einer zuvor Obertragenen Femsehbildsequenz und einem Qbertragenen Signal 

40 erfblgt das eine Information Ober die Verschiebung eines TeilbikJbareiches zwischen einer Qbertragenen 
und oner ausgelassenen Femsehbildsequenz enthH daB bei TeUbildberelchen, fUr die der senderseitlge 
Vargleich zwischen ausgetassener Femsehbildsequenz und aufgrund der Information Ober die Verschiebung 
gebildeter Femsehbildsequenz keine Qbereinstimmung argibt kein Signal mit der Information Ober eine 
Verschiebung eines Teilbiidbereichos Qbertragen wird, sondam jeweite biJdpunktabhangige Informationen 

45 fOr diesen Teilbildberelch In den Qbertragenen Datenstrom eingefQgt warden. 

2. Verfahren nach Anspruch 1, dadurch oekennzeichnet dafl da information Ober die Verschiebung 
eines Teiibiidberelches jewefls durch einen Varschlebungsvektor (Displacement) beschrieben wird, der cfie 
Bewegungsrtchtung des Jeweiligen TeiibikJbereiches angibL 

3. Verfahren nach Anspruch 2, dadurch oekennzeicnet. daS die Verschiebungsvektoren herativ ge- 
50 schStzt werden; d.h. das Ergebnis eines jadan Iterationsschrities wird als Startwert fOr den nachsten Schritt 

banutzt 

4. Verfahren nach Anspruch 3, dadurch oekennzeichnet daB bei jedem Iterationsschritt fOr die 
Besthnmung eines Verschiebungsvektors von der gleichan riumflchen Steile der zefflich vorangegangenen 
Femsehbildsequanz als Startwert ausgegangen wird. 

65 
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5. Verfahren nach einem der AnsprQche 2 bis 4, dadurch oekennzeichnet dafl (fie GQitigkeit eines 
aktuellen Verschiebungsvektors eines TeilWIdbereiches innerfialb einer Nachbarschaft von TeilbiSdberetchen 
QberprOft wird. und daB bei Abwetchung des aktuellen Verschiebungsvektors von den Ver- 
schiebungsvektoren der benachbarten TeilWIdbereiche dieser durch den MHtetwert der Ver* 
schiebungsvektoren der benachbartan Teilblldbereiche ersetzt wird. 

6. Verfahren nach einem der AnsprQche 3 bis 5, dadurch flekennzetehnet daB ein dynamisches 
Schatzfenster zur Bestimmung der Verschiebungsvektoren angewendet wird. daB dieses SchStzfenster 
dann verdoppelt wird, wenn der Betrag des im ersten Rerattonsschritt ermittelten Verschiebungsvektors 
grBBer 1st als die HSIfte des Betrages der Schfitzfensterabmessungen, und daB diese 
SchStzfenstervergrflflerung so iange wiederholt wird bis der Verschiebungsvektor innerhalb des 
SchStzfensters Degt 

7. Verfahren nach einem der AnsprQche 1 bis 6, dadurch oekennzeichnet daB nicht ganzzahfige Ver- 
schiebungsvektoren, die bei digitaler Wichtung fOr die Obertragung entstehen, durch ein vielpoilges FIR 
(finite-impulse-response) -Rfter. das Oberabtastfaktoren hdher Ordnung zulfiBt interpofiert werden. 

8. Verfahren nach einem der AnsprQche 3 bis 7, dadurch gekennzeichnet daB singulBre Zeilen, die 
beim Zeiiensprungverfahren durch Unterabtastung des Biidinhaites in vertikaler Richtung entstehen. vor der 
iterativen SchStzung der Verschiebungsvektoren durch TIefpaBfitterung gedfimpft werden. 

9. Verfahren nach einem der AnsprQche 1 Us 8. dadurch gekennzeichnet daB die Obertragenen 
FemsehbiWsequenzen senderseitig digital queiicodiert werden und empfdngerseitig entsprechend decodiert 
werden. 

10. Verfahren nach Anspruch 9. gekennzeichnet durch eine pridiktive Codierung/Decodierung. 

11. Verfahren nach Anspruch 9. oekennzeichnet durch eine Ti^sformatiortscodierung/^eaxflerung, 
beispielsweise eine OCT (Discrete Costnus-Transformation). 

12. Verfahren nach Anspruch 9, oekennzeichnet durch eine tntorpolotive Codierung/Decodierung. 

13. Verfahren nach Anspruch 9. oekennzeichnet durch eine statistische fodierung/Decocfierung. bei- 
spielsweise eine HufmanrhCodierung/Decodierung. 

14. Verfahren nach Anspruch 9. gekennzeichnet durch gieichzeitiges Anwendung mindestens zweler 
MaBnahmen gemlB den AnsprOchen 10 bis 13. 
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